中国半导体十大研究进展候选推荐（2023-019）——可重构数字存算一体AI芯片
1
工作简介
——可重构数字存算一体AI芯片
随着人工智能（Artificial Intelligence, AI）技术的发展，模型规模不断增加，带来巨大的算力和存储需求。大量频繁的访存使AI芯片的能效严重受限于冯诺依曼瓶颈问题。存算一体（Compute-In-Memory，CIM）架构可直接在存储器内完成计算，消除了计算和存储间的频繁访问，被认为是一种能够突破冯诺依曼瓶颈的高能效AI计算架构。然而，目前大多数存算一体AI芯片是基于模拟计算架构设计的。它们的模拟计算误差限制了计算精度，固定的存算通路限制了功能灵活性。这使得模拟存算一体架构只适合计算精度要求不高、功能灵活性要求不高、更注重低功耗的边缘端AI场景，而不适合对算力、能效、精度和灵活性同时具有很高要求的云端AI场景。随着高精度大规模AI模型不断涌现，在数据中心等云端AI场景进行训练和推理的算力需求日益增长。因此云端AI芯片的研究极具前景，亟需革新的AI芯片计算范式。
清华大学集成电路学院尹首一教授、魏少军教授团队提出可兼顾能效、精度和灵活性的AI芯片新范式（如图 1所示），可重构数字存算一体架构，设计出国际首款面向通用云端高算力场景的存算一体AI芯片ReDCIM（Reconfigurable Digital CIM）。该芯片首次在存算一体架构上支持高精度浮点与整数计算，可满足数据中心级的云端AI推理和训练等各种需求。该研究成果于2023年1月，以“ReDCIM: Reconfigurable Digital Computing-In-Memory Processor With Unified FP/INT Pipeline for Cloud AI Acceleration”为题，发表于集成电路领域顶级期刊IEEE Journal of Solid-State Circuits（JSSC）。清华大学尹首一教授为论文通讯作者，香港科技大学涂锋斌教授为论文第一作者，香港科技大学谢源教授为论文共同作者。
图1对各种AI芯片架构进行了对比。可重构数字存算一体架构将数字存算一体架构与可重构计算融合，从根源上解决模拟存算一体的固有缺陷：数字存算一体架构在存储器内实现纯数字逻辑，完全避免模拟计算导致的计算误差，兼顾能效和精度；可重构计算架构动态改变存内数据通路，提高AI芯片灵活性。基于此范式，本文设计了国际首款面向通用云端高算力场景的存算一体AI芯片ReDCIM。
图1. AI芯片架构对比：(a)传统数字架构，(b)模拟存算一体架构，(c)数字存算一体架构，(d)可重构数字存算一体架构是兼顾能效、精度和灵活性的创新架构范式。
如图2所示，其在架构设计上引入了近存和存内两个层次的可重构计算：近存预对齐浮点乘加流水线架构，可以改变输入数据的预处理流程，实现不同的浮点模式和整数模式。层次化可重构存内累加架构，在同一个存算单元内灵活支持多种浮点（BF16、FP32）和整数（INT8、INT16）计算能力。
图2. ReDCIM芯片的整体架构。
ReDCIM芯片使用TSMC 28nm工艺成功流片，首次在存算一体架构上支持高精度浮点与整数计算，满足云端AI推理和训练等各种任务需求。其显微照片和硬件指标如图3所示。ReDCIM可达到29.2 TFLOPS/W的BF16浮点能效和36.5 TOPS/W的INT8整数能效，相比同期英伟达A100 GPU的BF16能效提升37.4倍，相比同期浮点存算一体芯片BF16能效提升20.4倍。
图3. ReDCIM芯片的显微照片和硬件指标。
本工作的会议版本于2022年2月发表在被誉为“集成电路奥林匹克”的IEEE International Solid- State Circuits Conference（ISSCC）上，被选为亮点论文后受邀发表于集成电路领域顶级期刊JSSC。此外，ReDCIM芯片还入选了2023年中关村论坛《百项新技术新产品榜单》。目前研究团队正在与香港智能晶片与系统研发中心（ACCESS）合作，基于可重构数字存算一体AI芯片进行产业化准备。
AI芯片发展至今，从数字架构到模拟存算一体，芯片架构更新换代。数字架构受限于冯诺依曼访存瓶颈，能效存在局限性。模拟存算一体因突破了冯诺依曼访存瓶颈而具有更高能效，但精度和灵活性欠佳。可重构数字存算一体AI芯片融合了上述架构的优点，兼顾能效、精度和灵活性。可重构计算的引入大大拓展了传统存算一体架构的设计空间，让存算一体的功能不仅仅局限于整数乘加。可重构数字存算一体架构可适应未来更多人工智能计算场景需求，为AI芯片开辟了一种新的架构范式。
2
作者简介
通讯作者
尹首一，博士，清华大学长聘教授，集成电路学院副院长。
研究方向为可重构计算、人工智能芯片、低功耗设计。在IEEE JSSC、TCAS-I/II、TPDS、TCSVT、TVLSI和ISSCC、VLSI、DAC、ISCA、HPCA等集成电路和体系结构领域权威期刊和学术会议发表论文100余篇。曾获国家技术发明二等奖、中国电子学会技术发明一等奖、中国发明专利金奖、教育部技术发明一等奖。现任IEEE TCAS-I 和 ACM TRETS 编委。
第一作者
涂锋斌，博士，香港科技大学电子与计算机工程系助理教授。
涂博士于2019年在清华大学微纳电子系获得博士学位，同年获北京市优秀毕业生及清华大学优秀博士学位论文奖。他于2019~2022年在加州大学圣塔芭芭拉分校SEAL Lab担任博士后研究员，2022~2023年在香港智能晶片与系统研发中心（ACCESS）担任博士后研究员。他的研究方向包括AI芯片设计、计算机体系结构、可重构计算、存内计算。他设计的可重构AI芯片Thinker荣获2017年ISLPED国际低功耗电子与设计会议设计竞赛大奖。已出版《神经网络加速器的计算架构及存储优化技术研究》、《人工智能芯片设计》专著2部。已发表50余篇学术论文，包括ISSCC、JSSC、DAC、ISCA、MICRO等集成电路和体系结构领域权威期刊和学术会议。
3
原文传递
详情请点击论文链接：
《半导体学报》简介：
《半导体学报》是中国科学院主管、中国电子学会和中国科学院半导体研究所主办的学术刊物，1980年创刊，首任主编是王守武院士，黄昆先生撰写了创刊号首篇论文，2009年改为全英文刊Journal of Semiconductors（简称JOS），同年开始与IOPP英国物理学会出版社合作向全球发行。现任主编是李树深院士。2019年，JOS入选“中国科技期刊卓越行动计划”。2020年，JOS被EI收录。2023年，JOS首获影响因子为5.1，排在凝聚态物理学科20/76。
“半语-益言”系列讲座
借一言半语，聊“核芯”科技，“半语-益言”全三季直播讲座回放链接：
https://www.koushare.com/topicReview/byyy/68
2023年第四季直播讲座将不定期举办，敬请关注。
“中国半导体十大研究进展”推荐与评选工作简介：
《半导体学报》于2020年初启动实施 “中国半导体年度十大研究进展”的推荐和评选工作，记录我国半导体科学与技术研究领域的标志性成果。以我国科研院所、高校和企业等机构为第一署名单位，本年度公开发表的半导体领域研究成果均可参与评选。请推荐人或自荐人将研究成果的PDF文件发送至《半导体学报》电子邮箱：jos@semi.ac.cn，并附简要推荐理由。被推荐人须提供500字左右工作简介，阐述研究成果的学术价值和应用前景。年度十大研究进展将由评审专家委员会从候选推荐成果中投票产生，并于下一年度春节前公布。
JOSarXiv预发布平台简介：
半导体科技发展迅猛，科技论文产出数量逐年增加。JOSarXiv致力于为国内外半导体领域科研人员提供中英文科技论文免费发布和获取的平台，保障优秀科研成果首发权的认定，促进更大范围的学术交流。JOSarXiv由《半导体学报》主编李树深院士倡导建立，编辑部负责运行和管理，是国内外第一个专属半导体科技领域的论文预发布平台，提供预印本论文存缴、检索、发布和交流共享服务。
JOSarXiv于2020年1月1日正式上线（http://arxiv.jos.ac.cn/），通过《半导体学报》官网（http://www.jos.ac.cn/）亦可访问。敬请关注和投稿！
半导体学报公众号
长按二维码关注获得更多信息